Il tempio era costruito in marmo pentelico e misurava 108 metri in lunghezza e 41 in larghezza. Consisteva in 104 colonne Ordine corinzio, ognuna alta 17 metri. Solo 15 di queste colonne rimangono tuttora in piedi. La sedicesima colonna venne colpita da un fulmine durante un temporale nel 1852 e cadde sull'antica pavimentazione del tempio, dove è stata lasciata. Dell'imponente tempio rimangono, oltre alle colonne, il crepidoma e alcune porzioni dell'architrave tripartito.

La sua costruzione venne iniziata sulle rovine di un tempio preesistente da parte dei tiranni Pisistratidi nel 515 a.C., ma venne abbandonato quando il figlio di Pisistrato, Ippia, venne cacciato dalla città nel 510 a.C.

 

Durante gli anni della democrazia ad Atene il tempio non venne continuato perché la costruzione era ritenuta un'insolenza verso la divinità se edificata sulle basi gettate dai Tiranni. Aristotele cita inoltre in una sua opera il tempio ad esempio di come i tiranni ingaggiano il popolo in lavori grandiosi lasciandogli così poco tempo e poche energie per ribellarsi. I lavori vennero ricominciati nel 174 a.C. sotto Antioco IV, durante la dominazione macedone. Il tempio venne riprogettato, in modo da essere il tempio più grande che il mondo avesse mai visto, così come desiderato dal sovrano macedone, dall'architetto romano Cossutius. Quando Antioco IV morì, nel 163 a.C., l'edificazione dell'Olimpieon venne nuovamente abbandonata.

Nel II secolo d.C., più precisamente tra il 129 e il 131, il tempio venne finalmente completato da Adriano, grande estimatore della cultura greca.

 

Adriano dedicò il tempio a Zeus, conosciuto a Roma come Giove, il re degli dei. Fece erigere una statua crisoelefantina (in oro e avorio) di Zeus nella cella e, poco distante da questa, una sua statua grossa quanto quella del dio. Non rimane tuttavia nulla dell'interno del tempio, distrutto dai barbari e usato come cava di pietre. Si pensa che però, come molti altri edifici in Grecia, possa essere stato distrutto da un terremoto durante il Medioevo e che le rovine rimaste furono reimpiegate come materiali da costruzione.

Gli scavi del tempio vennero eseguiti tra il 1889 e il 1896 da Francis Penrose (che ricoprì un importante ruolo anche nella restaurazione del Partenone) della British School ad Atene, nel 1922 dall'archeologo tedesco Gabriel Welter e negli anni sessanta da archeologi greci capeggiati da Ioannes Travlos.

 

Il tempio, insieme a rovine di altri edifici antichi, è stato riconosciuto come monumento antico e viene amministrato dal ministero delle antichità della Grecia. È aperto ai turisti tutta la settimana in estate.